Năm 1933 Horowitz thành hôn với Wanda Toscanini (con gái của nhạc trưởng nổi tiếng người Ý Arturo Toscanini). Wanda là người theo Thiên Chúa giáo, còn Horowitz là người theo Do Thái giáo. Tuy vậy sự khác biệt này không ảnh hưởng đến hôn nhân của họ. Do Wanda không nói được tiếng Nga và Horowitz biết rất ít tiếng Ý nên ngôn ngữ chung của hai người là tiếng Pháp. Horowitz và Wanda có một con gái tên là Sonia Toscanini Horowitz (1934-1975).

Mặc dù Horowitz đã có gia đình, nhưng đã có những chứng cớ độc lập để nói rằng ông là một người đồng tính luyến ái. Horowitz đã nói: "Có ba kiểu nghệ sĩ dương cầm: Nghệ sĩ dương cầm Do Thái, nghệ sĩ dương cầm đồng tính và nghệ sĩ dương cầm kém!".

Trong thập niên 1950, Horowitz phải điều trị tâm lý để thay đổi định hướng về giới tính. Đầu thập niên 1960, ông phải điều trị sốc điện để chữa chứng trầm cảm.